Cao Biền là người U châu (là Bắc Kinh ngày nay), ông là cháu nội của danh tướng Cao Sùng Văn,[3] là người đã trấn áp cuộc nổi dậy của Lưu Tịch dưới triều đại của Đường Hiến Tông.[4] Cha của Cao Biền là Cao Thừa Minh (高承明), là ngu hậu trong Thần Sách quân. Mặc dù gia tộc của Cao Biền đã vài đời làm quan trong cấm quân, song khi còn nhỏ Cao Biền là người giỏi văn, và thường thảo luận về chuyện lý đạo với các nho sĩ. Ông có địa vị cao trong lưỡng quân của Thần Sách quân, được thăng dần đến chức "Hữu Thần Sách đô ngu hậu".[3] Khi đang phụng sự trong Thần Sách quân, Cao Biền đã kết nghĩa huynh đệ với Chu Bảo.[5]

Đầu triều đại của Đường Ý Tông, có một cuộc nổi dậy của người Đảng Hạng. Cao Biền xuất một vạn cấm binh đến đóng quân tại Trường Vũ thành[chú 2]. Khi đấy, từng có một vài tướng chống lại người Đảng Hạng song không có kết quả, duy có Cao Biền biết nắm bắt cơ hội mà dụng binh và giành được thắng lợi, được Đường Ý Tông khen ngợi. Sau đó, để đối phó với các cuộc tập kích của ngoại tộc ở phía tây, ông được chuyển đến canh giữ Tần châu[chú 3], giữ chức Thứ sử, Kinh lược sứ của Tần châu[3], tiếp tục lập công.[6]